Sourcing the Crowd for a Few Good Ones: Event Type Detection

This paper reports a crowdsourcing experiment on the identification and classification of event types in Italian. The data collected show that the task is not trivial (360 trusted judgments collected vs. 475 untrsuted ones) but it has been shown to be linguistically felicitous. The overall accuracy of the annotation is 61.6%. A reliability threshold assigned to the workers allows us to indentify the sub-population who has the awareness to perform this complex task and the accuracy of this sub-population is raised to 93%. Our hypothesis is that although the initial crowdsourced data is necessarily noisy, it can yield high quality results if the sub-population of ‘good’ workers can be identified. In other words, crowdsourcing offers a solution to difficult annotation tasks as long as there is an effective way to identify the reliable workers. TITLE AND ABSTRACT IN ANOTHER LANGUAGE, L2 (OPTIONAL, AND ON SAME PAGE) Identificare Annotatori Affidabili: Riconoscimento di Tipi di Evento Questo articolo descrive un esperimento di crowdsourcing per il riconoscimento e la classificazione dei tipi di evento in Italiano. I dati raccolti mostrano che il compito non è banale (360 giudizi affidabili vs. 475 giudizi non affidabili), ma dimostra di essere linguisticamente “felice”. L’accuratezza globale della annotazione è del 61,6%. Una soglia di affidabilità assegnata ai lavoratori ci permette di identificare la sotto-popolazione che ha la consapevolezza di svolgere questo compito complesso la cui accuratezza arriva fino al 93%. La nostra ipotesi è che, sebbene i dati iniziali ottenuti tramite tecniche di crowdsourcing siano necessariamente rumorosi, dei risultati di buona qualità possono essere ottenuti se la sotto-popolazione di "buoni" lavoratori è identificabile. In altre parole, il crowdsourcing offre una soluzione per compiti di annotazione difficili finché vi è un modo efficace per identificare i lavoratori affidabili.